MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
MM-ToolSandBox：面向视觉工具调用 Agent 的统一评估框架
🧭 视觉工具调用 · Agent 评估 ★ 深度解读
Apple
提出首个多图像、多轮、状态化视觉工具调用基准，揭示视觉精度是前沿模型的主要瓶颈
📌 工作参考价值（4 点）
- 多模态 Agent 在电商场景的潜在应用：商品图片识别、广告素材分析、用户截图诊断等任务可借鉴该框架的视觉工具调用模式，但当前模型在图像信息抽取精度上不足（53% 的失败源于误读图像），在落地前需要增加视觉校验或人工兜底。
- 评估方法论可直接复用：框架采用“状态差分 + LLM 裁判”双轨评估，实体 F1 衡量结果一致性，裁判器评估任务完成与信息准确度，尤其适合带数据库的后台操作（如订单、购物车、日程）的 Agent 评测。
- 多图像工作记忆是瓶颈：发现“前期一次性给出所有图片”的场景比逐步给图难 20%，说明长期上下文中的视觉引用是弱点。在构建电商导购 Agent 时，可将图片分批发送，降低记忆负担，或引入外部缓存/索引来保存图片信息。
- 执行接口选择依模型而异：代码执行和结构化工具调用没有统一更优方案，应根据所用模型分别测试。小米（4B-27B）模型在代码执行上比工具调用好 6-8 个点，而 KIMI 2.6 在工具调用上反而更强，工程上可提供双模式并 A/B 选型。